Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation
超越局部准确率：受控LLM推理评估的协议级可识别性审计
🧭 评估协议可识别性审计
School of Statistics and Data Science, Southwestern University of Finance and Economics
提出零模型调用的协议级可识别性审计，证明静态准确率与干预响应保真度存在结构性分歧
📌 工作参考价值（4 点）
- 评估任何策略干预（如推荐解释、prompt 改动、Agent 行为约束）前，先用协议级可识别性审计检查观测协议是否能区分不同行为策略，避免把静态准确率当作干预响应保真度。
- 利用最小识别支持思想做实验设计：离线评估时找出能区分策略差异的最小观测单元，减少日志、标注和推理成本。
- 注意基准正确率不能预测干预响应保真度，线上干预效果需要单独设计评估协议并验证其可识别性，尤其适用于多 Agent 策略对比场景。
- 可复用的审计是零模型调用的，可以在上线前用合成策略集检查评估协议，适合 Agent 多策略预筛选。